Köln là thành phố lâu đời nhất trong số các thành phố lớn của Đức: Tên Köln, vào thời người La Mã là Colonia Claudia Ara Agrippinensium xuất phát từ hoàng hậu La Mã Agrippina. Người vợ của Claudius sanh ra tại Köln và đã nâng nơi này lên trở thành thành phố vào năm 50 sau Công Nguyên. Trong thời kỳ của người La Mã, Köln là nơi ngự trị của thống đốc tỉnh Germania Inferior. Vào khoảng năm 80 Công Nguyên, với kênh đào dẫn nước từ Eifel, Köln đã nhận được một trong những ống dẫn nước La Mã (aqueduct) dài nhất.

Trong thời gian đầu của thời Trung cổ, Köln cũng đã là một thành phố quan trọng. Vào khoảng năm 455 người Frank chiếm lĩnh thành phố La Mã này. Cho đến đầu thế kỷ thứ VI là nơi chính của một vương quốc Frank tự chủ, Köln được sáp nhập vào vương quốc của Chlodwig tiếp theo sau đó nhưng vẫn giữ được tính tự chủ cao. Dân cư người La Mã sống bên cạnh những người Frank đã chiếm lĩnh thành phố một thời gian dài. Trong thời gian từ thế kỷ thứ VI đến thế kỷ thứ VIII đã có sự tiếp biến văn hóa giữa hai phần dân cư thành phố. Người Frank tiếp nhận nhanh chóng những thành tựu văn hóa của dân cư thành phố người La Mã, thí dụ như trong lĩnh vực kỹ thuật xây dựng hay sản xuất thủy tinh. Vào cuối thời kỳ của dòng họ Merowinger, Köln là nơi thành phố ngự trị của hoàng đế. Chậm nhất là từ thời dòng họ Karolinger, Giám mục hay tổng Giám mục của Köln là một trong những nhân vật quan trọng nhất trong vương quốc. Dưới triều đại Otto, Köln đã đóng một vai trò quan trọng trong việc tiếp cận giữa Thánh chế La Mã dân tộc Đức và Đế quốc Byzantine. Từ thế kỷ X, dưới sự lãnh đạo của các vị tổng Giám mục có tầm quan trọng và thông thạo về chính trị, Köln đã trở thành trung tâm tôn giáo không còn bàn cãi. Qua việc mang di cốt của ba vị vua thánh về thành phố bởi tổng Giám mục Rainald của Dassel trong năm 1164, Köln đã trở thành một địa danh hành hương hàng đầu. Giữa thời Trung cổ, Köln trở thành thành phố lớn nhất Đức, vì thế mà thành trì cũng phải được mở rộng nhiều lần: Từ năm 1180 (theo các văn kiện của ngày 27 tháng 7 và 18 tháng 8) thành trì rộng nhất Đức thời đấy bắt đầu được xây dựng và hoàn thành vào năm 1225. 12 cổng thành kết hợp vào thành trì bán nguyệt của thành phố muốn nhắc đến Jerusalem. Từ thế kỷ XII, bên cạnh Jerusalem, Constantinopel và Roma, Köln mang thêm từ "Sancta" trong tên của thành phố: Sancta Colonia Dei Gratia Romanae Ecclesiae Fidelis Filia – Köln thần thánh của ơn trời và người con gái trung thành của nhà thờ La Mã. Một nhà thờ gây ấn tượng và lớn đến mức không nơi nào có thể sánh bằng được quyết định xây dựng. Lễ đặt viên đá đầu tiên của Nhà thờ lớn Köln được tiến hành vào năm 1248.

Trong năm 1259 người dân thành phố Köln nhận được quyền ưu tiên được phép mua trước tất cả các hàng hóa được chuyên chở trên sông Rhein (Stapelrecht), góp phần vào cuộc sống sung túc của dân cư thành phố. Cuộc chiến nhiều năm giữa các tổng Giám mục Köln và các dòng dõi quý tộc tạm thời chấm dứt vào năm 1288 qua trận Worringen, nơi đạo quân của tổng Giám mục đã thất bại trước đạo quân của bá tước von Berg và của dân cư thành phố Köln. Từ đấy thành phố không còn là đất riêng của tổng Giám mục nữa và vị tổng Giám mục chỉ được phép vào thành phố khi tiến hành nghi lễ tôn giáo.

Năm 1582 tổng Giám mục Köln Gebhard Truchsess von Waldburg ly khai nhà thờ Công giáo và cưới bà Agnes von Mansfeld-Eisleben là người của đạo Tin Lành. Ông đã bị Giáo hoàng Gregor XIII khai trừ ra khỏi đạo và Ernst của Bayern, một người được tin cậy theo đạo Công giáo được cử làm người kế tục, ngoài những việc khác cũng là vì nếu không thì vị tổng Giám mục Köln đã có thể lật bỏ đa số Công giáo trong hội nghị tuyển hầu bầu hoàng đế của Thánh Chế La Mã (Kurfürstenkollegium). Chiến tranh Köln vì thế đã diễn ra từ 1583 đến 1588, trong đó các thành phố Deutz, Bonn và Neuss đã bị tàn phá. Cuộc chiến với sức hủy hoại của nó chỉ là một mường tường trước cho xung đột về tôn giáo kế tiếp theo đó trong nước Đức.

Thành phố Köln không bị tàn phá trong cuộc Chiến tranh 30 năm, một phần cũng vì thành phố đã trả tiền chuộc cho các đạo quân vây hãm và xâm chiếm. Köln thu được lợi nhuận cao trong cuộc chiến tranh này qua sản xuất và buôn bán vũ khí.

Lịch sử của thành phố "Köln thần thánh" chấm dứt khi quân đội Pháp kéo vào thành phố năm 1794 trong thời gian của cuộc Cách mạng Pháp. Cũng như toàn bộ vùng đất tả ngạn sông Rhein, thành phố Köln thuộc về nước Cộng hòa Pháp và được sáp nhập vào Roerdepartement có thủ phủ là thành phố Aachen. Nhiều người dân Köln đã đón mừng quân đội cách mạng Pháp như là những người giải phóng. Người Do Thái và người theo đạo Tin Lành bị phân biệt đối xử trước đó nay được đặt ngang hàng. Mặc dù thường phải đóng tiền đảm phụ quốc phòng cao người dân Köln vẫn trung thành với đế quốc của Napoléon, người đã đến thăm thành phố vào năm 1804. Trong năm 1815 thành phố Köln và vùng đất Rheinland bị Vương quốc Phổ thôn tính. Köln trở thành thành phố quan trọng nhất trong nước Phổ sau Berlin không chỉ vì hoạt động của các ngân hàng tại Köln. Trong năm 1880 việc xây dựng Nhà thờ lớn Köln được hoàn thành sau 632 năm dưới sự đốc thúc của hoàng đế Phổ - ít nhất là cũng tạm thời hoàn thành vì mãi cho đến ngày hôm nay công việc sửa chữa vẫn cần thiết sau Chiến tranh thế giới thứ hai và vì hư hỏng gạch xây dựng do môi trường. Do việc sửa chữa có lẽ không bao giờ chấm dứt nên nhà thờ lớn còn được gọi là "công trường xây dựng vĩnh cửu".

Cuối thế kỷ XIX thành phố được mở rộng sau khi xây dựng vòng thành phòng thủ ngoài. Công việc định cư "phố mới" đã nối kết thành phố với làng mạc vùng phụ cận đang tăng trưởng nhanh chóng và tạo điều kiện sáp nhập chúng vào thành phố. Sau thành trì cũ đượcc đập bỏ chỉ còn lại một vài công trình xây dựng tiêu biểu nhờ vào can thiệp của Bộ Văn hóa Phổ.

Trong Chiến tranh thế giới lần thứ hai thành phố đã bị tàn phá đến 90% qua các cuộc bỏ bom diện rộng của không quân Anh (vào ban đêm) và Mỹ (vào ban ngày). Từ tháng 1 đến tháng 3 năm 1945 1.800 thành viên của phong trào kháng chiến người Đức và người nước ngoài đã bị Đức Quốc xã giết chết trong Đợt tội phạm thời cuối chiến tranh.

Mãi đến năm 1959 Köln mới đạt lại được dân số của thời gian trước chiến tranh. Trong năm 1975 nhờ vào cải tổ hành chính Köln có dân số hơn 1 triệu người và bên cạnh Berlin, Hamburg và München. Thế nhưng với việc tách Wesseling vào năm 1976 dân số lại giảm dưới ranh giới 1 triệu.